CS234 强化学习 · 中文学习站

斯坦福 CS234 Winter 2019 的全套中文材料。一讲一行，点开看知识点清单。几种读法按你当下想花多少力气挑：

放映厅动画讲解，空格推进 速览整部摊平，一屏滚到底 精读左课件右讲解，一次一页，带自测与错题本 课件原始课件
L01 强化学习导论42 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 一句话定义：三个词各自承重
  3. 海鞘：脑是干什么用的
  4. 五个应用：从玩具问题到真问题
  5. 四个要素：本课的坐标系
  6. ① 优化：注意「or at least」
  7. ② 延迟后果：两个不同的难题
  8. ③ 探索：删失数据，不是试错代价
  9. ④ 泛化：为什么不能把策略写死
  10. 四要素重排与四个对照：各缺哪一格
  11. 模仿学习：账要算全
  12. 怎么推进，以及本课基本不讲的三件事
  13. 先修要求：这门课假设你会什么
  14. 序贯决策：目标，以及三个例子
  15. 检验题：人工家教，以及奖励写错会怎样
  16. 交互回路：离散时间，三件事一轮
  17. 历史：到目前为止的全部记录
  18. 世界状态：真的那个，通常你看不见
  19. agent 状态：你实际拿来做决策的那个
  20. Markov 条件：充分统计量
  21. 两道自查题：同一个系统，换表示就换答案
  22. 为什么这个假设这么流行——以及它真正的代价
  23. 完全可观测：MDP
  24. 部分可观测：POMDP，自己造状态
  25. 赌博机：动作不影响下一个观测
  26. MDP / POMDP：动作影响未来
  27. 世界怎么变：确定性 vs 随机
  28. 火星车：贯穿全课的例子
  29. 三个部件：模型、策略、值函数
  30. 模型：转移 + 奖励，而且可能是错的
  31. 策略：确定性与随机性
  32. 值函数：折扣回报的期望
  33. γ=0 是什么意思
  34. agent 分类（粗分）：有没有模型
  35. 规划 vs 强化学习：差别只在一句话
  36. 接龙：有规则书和没规则书
  37. 一句显而易见的话，和它带出的困境
  38. 探索与利用：必须牺牲一点当下
  39. 评估与控制：两件事，先后有序
  40. 两道练习：评估与控制各一
  41. 课程大纲：这门课的地图
  42. agent 分类（细分）：显式与隐式
讲稿全文原讲座 ↗
L02 已知世界模型：MP / MRP / MDP，策略迭代与值迭代52 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 复习：模型 / 策略 / 值函数
  3. 今天的路线
  4. MDP 装得下什么
  5. 复习：马尔可夫性
  6. 马尔可夫过程 / 马尔可夫链
  7. 火星车的转移矩阵
  8. 从这个过程里采样
  9. 马尔可夫奖励过程（MRP）
  10. 火星车 MRP
  11. 回报与值函数
  12. 折扣因子 γ
  13. 三条轨迹，三个回报
  14. 值函数：把它们平均起来
  15. 算法一：模拟
  16. 马尔可夫结构给出的分解
  17. 写成矩阵
  18. 算法二：解析解
  19. 算法三：动态规划
  20. 马尔可夫决策过程（MDP）
  21. 火星车 MDP：两个确定性动作
  22. MDP 的策略
  23. MDP + 策略 = MRP
  24. 策略评估的迭代算法
  25. 检验题：γ=0 时这个策略值多少
  26. 练习：做一次备份
  27. MDP 控制
  28. 检验题：有多少个策略
  29. 最优策略的三个性质
  30. 策略搜索：能不能直接枚举
  31. 策略迭代（PI）
  32. 新定义：状态–动作值 Q
  33. 策略改进
  34. 把两步拼起来
  35. 改进这一步为什么奇怪
  36. 单调改进
  37. 证明：把不等式一层层套进去
  38. 检验题：会不会反复横跳
  39. 换一条路：值迭代
  40. 贝尔曼方程与备份算子
  41. 值迭代（VI）
  42. 用算子重述策略迭代
  43. 回到值迭代：怎么取出策略
  44. 压缩算子
  45. 值迭代会收敛吗
  46. 证明：备份是压缩
  47. 检验题：初始化重要吗
  48. 有限 horizon 的值迭代
  49. 有限 horizon 下策略还平稳吗
  50. 值迭代 vs 策略迭代
  51. 这一讲你该掌握什么
  52. 附录：重复页
讲稿全文原讲座 ↗
L03 无模型策略评估：蒙特卡洛、时序差分与重要性采样41 条讲解 放映厅速览精读课件
  1. 这一讲要干什么：把「模型」这一项拿掉
  2. 这一讲的清单
  3. 复习：G、V、Q 三个定义
  4. 动态规划做策略评估：参照系
  5. 画成一棵树：DP 要把整层摊开
  6. 什么叫自举（bootstrapping）
  7. 动态规划的三条要价
  8. 路线图：轮到蒙特卡洛
  9. 蒙特卡洛：值 = 回报的平均，以及它的四条性质
  10. on-policy：数据必须来自你要评估的那个策略
  11. 首次访问 MC：算法
  12. 偏差、方差、MSE：本讲的尺子
  13. 首次访问 MC：无偏
  14. 每次访问 MC：有偏，但常常更好
  15. 写成滑动平均：α 的两种取法
  16. 检验题：火星车上手算一遍 MC
  17. MC 在树上做什么：窄而深
  18. 蒙特卡洛的两条硬伤，与小结
  19. 路线图：轮到 TD
  20. 时序差分：把 MC 和 DP 缝在一起
  21. TD 是怎么推出来的：把 G 换成一步估计
  22. TD(0) 与 TD 误差
  23. 检验题：同一条轨迹，TD 给什么
  24. 三方性质表：本讲最该记住的一张
  25. 拿什么标准比较（第一版）
  26. 偏差与方差：MC 对 TD
  27. 三种估计并排看：同一条轨迹，不同答案
  28. 如果允许把数据反复用呢
  29. AB 例子：八个回合，两个状态
  30. 批量下它们收敛到不同的东西
  31. 数据效率与计算效率
  32. 第四条路：确定性等价
  33. 比较维度：补上第四条
  34. 小结与路线图
  35. 为什么需要 off-policy 评估
  36. 形式化，以及那个从未兑现的承诺
  37. 分布不匹配：问题的几何形状
  38. 重要性采样：一般形式（以及课件这一页的三处笔误）
  39. 用到策略评估上：动力学会约掉
  40. 小结：它要什么、不要什么
  41. 下一讲：从评估走到控制
讲稿全文原讲座 ↗
L04 无模型控制：ε-贪婪、SARSA、Q-learning 与最大化偏差40 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 从评估到控制
  3. 四要素里今天碰哪几个
  4. 今天的清单
  5. 什么场合用得上
  6. on-policy 与 off-policy
  7. 目录：广义策略迭代
  8. 复习：策略迭代
  9. 把 V 换成 Q
  10. 用 MC 估 Q
  11. 有了 Q，改进变得极简单
  12. 但这条路上有两个坑
  13. 目录：探索的重要性
  14. 带探索的策略评估
  15. ε-贪婪策略
  16. 检验题：用 MC 估 Q
  17. ε-贪婪也保单调改进
  18. 一个必须说清的前提
  19. GLIE：无限探索下最终变贪婪
  20. 目录：蒙特卡洛控制
  21. MC 在线控制
  22. 检验题：MC 控制走一轮
  23. GLIE MC 控制收敛
  24. 那 TD 呢
  25. 目录：TD 控制
  26. TD 版的策略迭代
  27. SARSA
  28. SARSA 的收敛条件
  29. Q-learning
  30. 行为策略与目标策略
  31. ε-贪婪的 Q-learning
  32. 检验题：Q-learning 走一步
  33. 两种收敛，条件不一样
  34. 目录：最大化偏差
  35. 最大化偏差
  36. 双学习：把「选」和「估」拆开
  37. Double Q-learning
  38. 实验：差距有多大
  39. 目录：讲完了
  40. 这一讲你该掌握什么
讲稿全文原讲座 ↗
L05 值函数逼近：线性 VFA、收敛保证与致命三件套35 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 表格表示撑不住了
  3. 四要素：今天轮到泛化
  4. 目录：引入讲完了
  5. 值函数逼近（VFA）是什么
  6. 泛化买到了三样东西
  7. 选哪种函数逼近器
  8. 复习：梯度下降
  9. 目录：进入「用 VFA 做预测」
  10. 先假设有个神谕
  11. 但神谕并不存在
  12. 特征向量
  13. 线性 VFA：更新式读成三个因子
  14. 蒙特卡洛 VFA
  15. Baird 例子：MC 走一步
  16. 平稳分布 d(s)
  17. MC + 线性 VFA 收敛到哪
  18. 批量 MC：直接解出来
  19. 复习：查表式 TD
  20. TD(0) + 值函数逼近：三层近似
  21. TD(0) 线性 VFA 算法
  22. Baird 例子：TD 走一步
  23. TD + 线性 VFA 收敛到哪
  24. 检验题：表格表示时误差是多少
  25. 谁收敛得更快
  26. 目录：进入控制，气候要变了
  27. 致命三件套
  28. Q 的线性逼近
  29. 三个算法的 VFA 版
  30. 为什么会出问题：压缩 vs 扩张
  31. Baird：off-policy 真的会炸
  32. 收敛性总表
  33. 这是个活跃的研究方向
  34. 那张几何图
  35. 这一讲你该掌握什么
讲稿全文原讲座 ↗
L06 卷积网络与深度 Q 学习：DQN 及其三个改进33 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 为什么要泛化
  3. 复习：SGD 与线性 VFA
  4. 线性 VFA 的天花板
  5. 深度网络：函数的复合
  6. 深度网络换来了什么
  7. 为什么要讲 CNN
  8. 全连接网络：参数爆炸
  9. 卷积网络的四个想法
  10. 感受野、步长、权重共享
  11. 特征图与多组滤波器
  12. 池化层与最后的全连接层
  13. 深度强化学习
  14. DQN：用网络表示 Q
  15. Atari 上的 DQN
  16. 两个会把它搞崩的问题
  17. 经验回放
  18. 固定 Q 目标
  19. DQN 小结
  20. Demo 与 Atari 结果
  21. 消融实验：哪一样最重要
  22. 三个立竿见影的改进
  23. Double DQN
  24. Double DQN 的效果
  25. 回到火星车
  26. 回放的顺序会带来指数级差别
  27. 优先经验回放
  28. 优先回放的效果
  29. 优势函数与 Dueling DQN
  30. 可辨识性问题
  31. Dueling 的效果
  32. 实操建议（来自 John Schulman）
  33. 这一讲讲完了
讲稿全文原讲座 ↗
L07 模仿学习：行为克隆、DAGGER、逆强化学习与特征匹配26 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 复习：DQN 与两个改进
  3. 复习：优势函数与 Dueling DQN
  4. 复习：DQN 实操建议
  5. Rainbow 与无模型 VFA 小结
  6. 还缺一样：效率
  7. 蒙特祖玛的复仇
  8. RL 到目前为止的处境
  9. 奖励塑形：奖励从哪来
  10. 应用举例
  11. 从演示中学习
  12. 问题设定：三条路
  13. 目录：行为克隆
  14. 行为克隆
  15. 致命缺陷：误差会累积
  16. DAGGER：把专家留在回路里
  17. 目录：逆强化学习
  18. 逆 RL 的起点：两个问题
  19. 线性特征下的逆 RL
  20. 目录：学徒学习
  21. 把「最优」写成对 w 的约束
  22. 特征匹配
  23. 学徒学习算法
  24. 两个仍然没解决的麻烦
  25. 两条主流出路
  26. 小结与下一讲
讲稿全文原讲座 ↗
L08 策略梯度 I：不再绕值函数，直接对策略求导30 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 目录
  3. 基于值 vs 基于策略
  4. 利弊
  5. 为什么要随机策略（一）：石头剪刀布
  6. 为什么要随机策略（二）：混叠网格世界
  7. 怎么衡量一个策略好不好
  8. 先说无梯度的那一类
  9. 转向梯度法
  10. 策略梯度
  11. 最笨的办法：有限差分
  12. 用有限差分教 AIBO 走路
  13. 改成解析地求梯度
  14. 换个记号：按轨迹来写
  15. 似然比技巧
  16. score function 的直觉
  17. 拆开轨迹：动态项自己消失了
  18. score function 与合起来的式子
  19. 策略梯度定理
  20. 无偏，但噪声极大
  21. 修法一：利用时间结构
  22. REINFORCE
  23. 可微的策略类
  24. Softmax 策略（离散动作）
  25. 高斯策略（连续动作）
  26. 修法二：引入基线
  27. 为什么基线不引入偏差
  28. 「香草」策略梯度算法
  29. 值函数当基线，以及 n 步估计
  30. 应用与下一讲
讲稿全文原讲座 ↗
L09 策略梯度 II：基线、actor-critic，以及「该走多远」30 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 课堂反馈
  3. 复习：策略梯度
  4. 我们到底想要什么样的算法
  5. 目录
  6. 复习：无偏但噪声大
  7. 基线
  8. 为什么基线不引入偏差
  9. 「香草」策略梯度算法
  10. 基线选什么：值函数
  11. 目录
  12. 换掉目标：critic 与 actor-critic
  13. 带值函数的策略梯度公式
  14. n 步估计：在 TD 和 MC 之间调
  15. 目录：转向「该走多远」
  16. 为什么步长在 RL 里格外要紧
  17. 最直接的办法：沿梯度做线搜索
  18. 关键改写：用旧策略的优势表达新策略的值
  19. 目录：局部近似
  20. 局部近似：把 ρ 换成旧策略的
  21. 保守策略迭代：第一个下界
  22. 推广到一般随机策略
  23. 为什么优化下界就够了
  24. 从惩罚项改成硬约束：信赖域
  25. 从理论到实践：三次替换
  26. 怎么求下一个参数
  27. TRPO 算法
  28. 结果与小结
  29. 策略梯度算法的通用模板
  30. 这一讲你该掌握什么
讲稿全文原讲座 ↗
L10 保守策略改进与 TRPO：把「不变差」变成一条可优化的下界19 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 复习：基于策略的 RL
  3. 复习：香草策略梯度与三个选择
  4. 为什么「走多远」在 RL 里是个大问题
  5. 关键改写：用旧策略的优势表达新策略的值
  6. 目录：局部近似
  7. 局部近似：硬换掉那个分布
  8. 第一个下界：保守策略迭代
  9. 推广到一般随机策略
  10. 为什么「优化下界」就够了
  11. 目录：信赖域
  12. 把惩罚项改成硬约束
  13. 从理论到实践：三次替换
  14. 采样分布取什么
  15. 怎么解这个带约束的问题
  16. TRPO 算法
  17. 结果与小结
  18. 策略梯度算法的通用模板
  19. 策略梯度小结
讲稿全文课件·下半原讲座 ↗
L11 探索与多臂老虎机：把判据从「能不能学到」换成「要多少数据」33 条讲解 放映厅速览精读课件
  1. 这一讲要干什么
  2. 计算效率不等于样本效率
  3. 三层词汇：设定、框架、方法
  4. 多臂老虎机
  5. 遗憾
  6. 遗憾 = 计数 × 差距
  7. 贪心算法
  8. ε-贪心算法
  9. 断脚趾例子：设定
  10. 贪心在这个例子上：第一轮就可能走偏
  11. ε-贪心在这个例子上，以及「线性」到底多糟
  12. 两类遗憾界
  13. 下界：常数遗憾做不到
  14. 乐观面对不确定
  15. 置信上界（UCB）
  16. Hoeffding 不等式：半径从哪来
  17. 高概率遗憾界：板书上的完整推导
  18. UCB1 与对数遗憾定理
  19. UCB1 在断脚趾例子上
  20. 把遗憾一步步记下来
  21. 检验题：为什么不能用置信下界
  22. 贝叶斯老虎机
  23. 遗憾与贝叶斯遗憾
  24. 贝叶斯 UCB（高斯情形）
  25. 概率匹配
  26. Thompson 采样：一行代码实现概率匹配
  27. Thompson 在断脚趾例子上，以及和 UCB 的对照
  28. Thompson 的理论地位
  29. 上下文老虎机，以及贝叶斯遗憾界
  30. 乐观初始化
  31. 四个算法的总表
  32. 回到蒙特祖玛
  33. 附：怎么把 UCB 算出来
讲稿全文原讲座 ↗
L12 从频率派到贝叶斯，从老虎机回到 MDP26 条讲解 放映厅速览精读课件
  1. 这一讲在整条线里的位置
  2. 三个维度：设定 · 框架 · 做法
  3. 回顾：老虎机与遗憾
  4. 乐观：UCB 与它的遗憾定理
  5. 玩具例子：三条臂上跑一遍 UCB
  6. 检验题：为什么必须用上界，不能用下界
  7. 乐观初始化，与三种做法的遗憾
  8. 贝叶斯老虎机：开始用先验
  9. 贝叶斯推断复习，以及「共轭」为什么要紧
  10. 伯努利 + Beta：伪计数
  11. 第二把尺子：贝叶斯遗憾
  12. 概率匹配：按「它是最优的概率」来选
  13. Thompson 采样：抽一个样本当真
  14. 玩具例子：Thompson 采样逐步跑一遍
  15. 并排比一次：序列与遗憾
  16. 理论与实证给出了不同的排名
  17. 上下文老虎机：新闻推荐那篇
  18. 贝叶斯遗憾界：和 UCB 一样
  19. 第三把尺子：PAC —— 数大错的个数
  20. 同一组数据，两把尺子给出不同裁决
  21. 搬回 MDP：同一套框架与做法
  22. 无模型的乐观初始化：好用，但保证要付天价
  23. 有模型的乐观：两条路线
  24. MBIE-EB：计数建模 + β/√N 加成
  25. MDP 上的 PAC：定义、结论、充分条件
  26. 实证：六臂模拟
讲稿全文原讲座 ↗
L13 把「探索是对的」证成定理，再承认它在深度网络上还不成立13 条讲解 放映厅速览精读课件
  1. 这一讲要干什么：把探索证成定理
  2. 回顾 MBIE-EB 与 MDP 上的 PAC
  3. 三条充分条件：这是一张检查表
  4. 乐观性怎么证：β 够不够大
  5. 为什么要故意扔掉数据
  6. 两个构造出来的 MDP，与鸽笼论证
  7. 回顾：贝叶斯老虎机那一套
  8. MDP 上的 Thompson 采样：抽一整个世界，然后解它
  9. 泛化与探索：计数不泛化
  10. 把加成搬进 Q-learning
  11. 有方向的探索能带来什么：Montezuma's Revenge
  12. 贝叶斯那一支在深度网络上的两种做法
  13. 小结：这三讲要求你会什么
讲稿全文原讲座 ↗
L15 只有一份旧数据，怎么在上线之前就知道新策略更好22 条讲解 放映厅速览精读课件
  1. 这一讲是什么：一门课里的一次研究报告
  2. 一个科学实验：反事实与泛化
  3. 批量强化学习的设定
  4. 为什么必须「安全」，以及安全该是什么意思
  5. 记号与形式定义
  6. 三段式配方：整讲的骨架
  7. 重要性采样：环境的因子全部约掉
  8. 覆盖条件，与 Hoeffding 的登场
  9. 安全策略改进：算法可以拒绝
  10. 每步重要性采样：未来影响不了已经拿到的奖励
  11. 加权重要性采样：有偏，但方差小得多
  12. 控制变量：减方差的通用工具
  13. 双重稳健：把控制变量接到 IS 上
  14. 实验结果与混合：按情形在两者之间调
  15. 支撑集的边界情形：零样本时该返回什么
  16. 收益有多大，以及非平稳的情形
  17. 第二格翻车：下界是负的百万量级
  18. 截尾修复：只压低不抬高，所以界还成立
  19. 换不等式：从最坏情况退到分布假设
  20. 安全策略改进：最终形态
  21. 两个应用：数字营销与糖尿病治疗
  22. 本讲没覆盖的，与该记住的
讲稿全文原讲座 ↗
L16 拟合一个模型就等于拥有一个模拟器，而模拟器可以拿来想事情20 条讲解 放映厅速览精读课件
  1. 为什么用 MCTS 收尾
  2. 学一个模型，就等于拥有一个模拟器
  3. 好处与坏处：能迁移，但误差会复合
  4. 模型长什么样，怎么学
  5. AB 例子：批 TD 与批 MC 收敛到两个不同的东西
  6. 采样式规划：为什么要从模型里采假数据
  7. 模型不准怎么办：两个解法各只治一种病
  8. 前向搜索：只解「从现在开始」的那个子问题
  9. 简单蒙特卡洛搜索：恰好一步策略改进
  10. Expectimax 树：正确，但叶子数是 (|S||A|)^H
  11. MCTS：故意长成偏的一棵树
  12. UCT：把每个节点当成一个独立的老虎机
  13. 围棋：规则是已知的，难在搜索空间
  14. 在围棋上跑一遍，和自我对弈这个真正的关键
  15. MCTS 的好处：五条，而「随时可停」最被低估
  16. ★ 乐观在规划里是错的 —— 在脑子里做坏决策不疼
  17. 全课五条目标：她自己认为哪一条最有用
  18. 她对这个领域的判断：手机上还没有 RL
  19. 两页图：课程评估与早期围棋结果
  20. 变体与 AlphaGo：学一个值函数，就不必 rollout 到底
讲稿全文原讲座 ↗